Cụ cố là Charles Henry Maurice Bosman (họ Bos-man phiên âm tiếng Quảng Đông là Hà Sĩ Văn), một thương nhân mang quốc tịch Anh, là người Hà Lan gốc Do Thái.

Sự kiện Hồng Kông mở cửa các thương cảng năm 1842 đã thu hút nhóm thương nhân tìm kiếm cơ hội kinh doanh và thám hiểm, Hà Sĩ Văn là một trong đó. Ông đặt chân tới Hồng Kông năm 1859 và rời đi năm 1873. Ông có mối quan hệ với bà Thi Đệ (施娣), một phụ nữ Trung Quốc trong thời gian 14 năm lưu trú tại Hồng Kông. Giá trị đạo đức Nho giáo và tầng lớp phong kiến thống trị không cho phép phụ nữ Trung Quốc đến với đàn ông ngoại quốc. Thường chỉ có những người đàn ông ngoại quốc "bao dưỡng" những cô con gái nhà thuyền chài hoặc gái nhà thổ. Những người phụ nữ có dính líu với đàn ông châu Âu thì không thể sống trong khu người Hoa mà chỉ có thể đến ở khu vực đông người ngoại quốc như đường Queen hay Bonham, Hồng Kông. Bà Thi Đệ là con gái của gia đình làm nghề chài lưới (đản gia) gốc Bảo An, Thâm Quyến.[6]

Cả hai chung sống không hôn thú tại căn nhà trên đường D'Aguilar, Hồng Kông. Sau đó sinh ra 1 gái và 4 con trai: Hà Bách Nhan (con gái), nhà tư sản mại bản nổi tiếng Hà Đông (Robert HoTung Bosman), Hà Khải Phúc (Walter Bosman), Hà Khải Mãn và Hà Khải Giai.[7] Mặc dù ông Hà Đông là một đứa trẻ lai nhưng luôn coi mình là người Trung Quốc. Một trăm năm trước, cậu bé Hà Đông đã hỏi cha mình: "Tại sao người Anh lại coi thường người Trung Quốc?", ông Hà Sĩ Văn nói: "Bởi vì người Trung Quốc nghèo." Câu nói này Hà Đông thật khó quên, đã trở thành động lực của suốt cuộc đời.[8]

Ngoài ra, Hà Sĩ Văn rời Hồng Kông sang Anh và để lại mẹ con bà Thi Đệ, tình cảm cha con xa cách, bản thân anh em ông Hà Đông được mẹ nuôi nấng. Vì vậy gia tộc Robert Hà Đông đã kế thừa chế độ mẫu hệ, tự nhận là người gốc Bảo An, Thâm Quyến.

Ông nội là Hà Khải Phúc kết hôn với bà La Thụy Thái (Lucy Rothwell), chị ruột của nhà tư sản La Trường Triệu (羅長肇), thuộc thế hệ con lai Âu Á đầu tiên tại Hồng Kông, con gái của thương nhân người Anh Thomas Rothwell (phiên âm sang tiếng Quảng Đông là La Phú Hoa) với một phụ nữ Trung Quốc. [9]

Hà Hồng Sân là con thứ 9 trong số 13 người con của ông Hà Thế Quang, thành viên hội đồng lập pháp trong tập đoàn Tung Wah Group of Hospitals. Mẹ là Flora Hall (Tiển Hưng Vân, 冼興雲), con gái của ông Stephen Hall (Tiển Đức Phần, 冼德芬, 1856—1925), nhà sáng lập tập đoàn Tung Wah Group of Hospitals. Ông ngoại của Hà Hồng Sân là người lai Trung-Anh, con trai thương nhân người Anh Stephen Prentis Hall.[10][11]

Do các bà cố hai bên nội ngoại đều là những phụ nữ Trung Quốc sinh con với người ngoại quốc nên có mối quan hệ thân thiết từ đó tạo dựng tình bạn cho thế hệ con cái. Quan hệ giữa hai gia tộc họ La và họ Hà gắn kết bằng kinh doanh và hôn phối.